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(57) Abstract: The inventaon relates to a method for detecting surroundings by means of an automotive night vision system com- 
pnsmg seveml areas, mcluding a detection area (3) in which suiroundings-ielated data is detected, an evaluation area within which 
o^Zn r -^ht vision system is evaluated, and an a^a of repr^sentationt whi^h 

fonnation about the suiroundmgs-ielated data detected therein is represented to the driver by means of an optical display unit All 
previous commercidly available night vision systems aie configured so as to be able to display objects at the greatest possible dis- 
tance. However. s.d sptems involve the great risk of leading the driver into driving faster than would be possible witho^he night 

ZhoH f r ""^"^ "^'"^^ 'T' ^ of representation is theieforeLtricted in the invenlve 

method for detecting surroundings such that the area of representation comprises no more than the high beam area (2) The driver 
th^r ^ sunoundings-related data which he/she would see anyway when actuating the conventional high beam due to the 
fact that the area of representation is restricted. s ^ uic 



«5 tZZt^ umfessend Dazu geh6r«n ein Erfassungsbereich (3), worin Umgebungsdaten erfasst wenien. Einen AuswL- 

tebereich innerhalb dem die nuttels dem Nachtsichtsystem erfassten Umgebungsdaten einer Auswertung nnteizogen werden Sowie 

O r^^c? m iJT^l^'t T*"' 'J^" '^'^ erf^^ten Umgebungsdaten mittels einer optischen Anzeige dem Fahier 

W daigestellt wild. Alle bislier kommerziell verfugbaren Nachtsichtsysteme sind derart 
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ausgelegt. dass sie Objekte in mSglichst grosser Entfemung anzeigen konnen. Sie bergen jedoch die gross Gefahr, dass der 
,„ Sitnationen schlechter Sicht oder bei Dunkelheit dazu verleitet wirf, schneller zu Fahren als dies ohne Nachtsichtsystem 
mdghch ist. Daher wmi bei dem erflndungsgemassen Verfahren zur Umgebungserfassung der DareteUungsbereich eingeschkkt. 
Die Einschrankung erfolgt dabei derart. dass der Darstellungsbereich maxima] den Femlichtbereich (2) umfasst Aufgrund der 
Bnschrankung des Darstellungsbereichs werden dem Fahier nur diejenigen Umgebungsdaten angezeigt. die er bei Aktivierung 
aes Konvenbonellen Femliclits ohneliin selien wiirde. 
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Darstel lungsbereich eines autcmobilen Nachtsichtsystems 



5 Die Erfindung betrifft ein Verfahren zur Umgebungserf assung 
mittels eines automobilen Nachtsichtsystems mehrere Bereiche 
umf assend. 

Es gibt bereits erste konimerziell erhaltliche Fahrer- 
10 Assistenzsysteme die dera Fahrer bei schlechtem Wetter oder 

bei Dunkelheit die Sicht verbessem. Dabei handelt es sich um 
. Nachtsichtsysteme bei denen mittels eines Infrarot sensors die 

vorausliegende Fahrzeugumgebung erfasst wird. Die erfassten 

Umgebungsdaten werden mit einer Datenverarbeitungseinheit zu 
15 einem Bild verarbeitet und dem Fahrer im Fahrzeug auf einer 

optischen Anzeige dargestellt. Wobei der Fahrer zur Informa- 

tionsaufnahme auf die optische Anzeige blickt und ggf. ge- 

fahrliche Verkehrssituationen erkennen kann- 

20 In IEEE Computer Graphics and Applications, Septem- 
ber/Oktober, 1999, Seite 6 : "Night Vision: Infrared Takes to 
the Road" wird ein automobiles Nachtsichtsystem vorgestellt, 
welches eine Inf rarotkamera und ein Head-Up-Display umf asst. 
Wobei mit dem Head-Up-Display die mittels der Inf rarotkamera 

25 detektierten, dem Fahrzeug vorausliegenden, Umgebungsdaten 
virtuell auf die Windschutzscheibe projiziert werden. Wobei 
das System dem Fahrer eine drei- bis funffach hohere Sicht - 
weite gegenuber der bei Abblendlicht typischen Sichtweite er- 
moglicht. Wodurch sich bei einer Fahrtgeschwindigkeit von 60 

30 Meilen pro Stunde die maximale Reaktionszeit bei Abblendlicht 
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von 3.5 Sekimden auf eine Reaktionszeit von 17.5 Sekunden bei 
Nachtsicht erhdht. 

Auf der Internetseite der Toyota Motor Corporation 
(www . toyot a . co . i p/ S howroom/ All toyota lineup/LandCruiserCvgnu 
s /safety/ index.html) wird ein System zur Unterstutziing des 
Sehvermogens des Pahrers bei Nachtfahrten vorgestellt. Dabei 
wird mittels einer ira Nahinf raroten empf indlichen Karaera die 
Umgebung erfasst und dem Pahrer auf einem Head-Up -Dispaly an- 
gezeigt. Das System zeigt bei Abblendlicht den dem Lichtkegel 
des Fahrzeugs vorausliegenden, schwer erkennbaren StraSenver- 
lauf sowie sich in der Umgebung befindliche Personen, Fahr- 
zeuge und Hindernisse an. Dem Lichtkegel des Abblendlichts 
schlieSt sich dazu ein mit dem Nachtsicht system erkennbarer 
Bereich an. Der • auswertbare Bereich liegt idealerweise bei 
etwa 100m und reicht maximal bis ca. 150m. Das System dient 
insbesondere als Assistent fur die Fernsicht, in Situationen 
bei denen man nicht mit Fernlicht fahren kann. Das System 
stellt dem Fahrer bei Fernlicht fahrt vorausl legends Informa- 
tionen dadurch bereit, dass in direkter Sicht schwer erkenn- 
bare Gegenstande abgebildet werden. Durch die Vervendung von 
Nahinfrarotstrahlen kann das System den StralSenzustand, auf 
die Strafie gef aliens GegenstSnde tind andere StraSeninformati- 
onen anzeigen. Dem Lichtkegel des Fernlichts, welches mit ei- 
ner Reichweite von in etwa 180m angegeben wird, schliefit sich 
dazu der mit dem Nachtsichtsystem erfassbare Bereich an. Der 
erfassbare Bereich liegt bei ungefahr 200m und wird maximal 
mit ca. 250m angegeben. Alle bisher kommerziell verfugbaren 
Nachtsichtsysteme sind derart ausgelegt, dass sie Objekte in 
moglichst grofier Entfernimg anzeigen konnen. Sie bergen je- 
doch die groSe Gefahr, dass der Fahrer in Situationen 
schlechter Sicht oder bei Dunkelheit dazu verleitet wird, 
schneller zu Fahren als dies ohne Nachtsichtsystem moglich 
ist . 
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Der Erfindung liegt deshalb die Aufgabe zu Grunde, ein Ver- 
fahren zur Umgebungserf assung mitt els eines automobilen 
Nachtsichtsystems zu schaffen, womit dem Fahrer vorausliegen- 
de Umgebungsinformation angezeigt wird, ohne dabei zu einem 
5 Blindflug zu verleiten. 

Die Aufgabe wird gemag der Erfindung durch ein Verfahren mit 
den Merkinalen des Patentanspruch 1 gelost . Vorteilhafte Aus~ 
gestaltungen und Weiterbildimgen der Erfindung werden in den 
10 Unteranspruchen aufgezeigt. 

GemaS der Erfindung wird ein Verfahren zur Umgebungserf assung 
mittels eines automobilen Nachtsichtsystems bereitgestellt . 
Zur Erfassung von Umgebungsdaten umfasst das System mehrere 
Bereiche. Dazu gehoren ein Erf assungsbereich, worin das 
Nachtsicht system fur optische Strahlung nichtsichtbarerer IR- 
Wellenlange empf indlich ist und Umgebungsdaten erfasst wer- 
den. Weiterhin umfasst das System einen Darstellungsbereich, 
wobei die darin mit dem Nachtsichtsystems erfassten Umge- 
bungsdaten dem Fahrer auf einer optischen Anzeige dargestellt 
werden. In einer erf inderischen Weise umfasst der Darstel- 
lungsbereich des Nachtsichtsystems dabei maximal den Lichtke- 
gel des Fernlichtbereichs des Fahrzeugs. Aufgrund der Ein- 
schrankung des Darstellxingsbereichs werden dem Fahrer nur 
diejenigen Umgebungsdaten angezeigt, die er bei Aktivierung 
des konventionellen Fernlichts ohnehin sehen wiirde. 

In besonders vorteilhaf ter Weise umfasst das System einen 
Auswertebereich, innerhalb dem die mittels dem Nachtsichtsys- 
30 tern erfassten Umgebungsdaten einer Auswertung, insbesondere 
einer Objekterkennung, unterzogen werden. 

In einer weiteren vorteilhaf ten Weise schlieSt sich dem Dar- 
stellungsbereich des Nachtsichtsystems ein Toleranzbereich 
35 an. Wobei diejenigen Umgebungsdaten die der Toleranzbereich 
umfasst, dem Fahrer ebenfalls mittels der optischen Anzeige 
dargestellt werden. In einer Ausfuhrvmgsf orm der Erfindung 
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ist vorgesehen, dass dar Toleranzbereich fest vorgegeben 
wird. Wobei ein Toleranzbereich einerseits deshalb vorteil- 
haft ist, da zwischen dem Pernlichtbereich und dem Erf as- 
sungsbereich keine scharfe Trennlinie existiert. Andererseits 
5 kann aufgnand der Winkelbereiche der Kamera, wobei jedes Pi- 
xel einer Raumrichtung entspricht, die Grenze des Fernlicht- 
bereichs nicht mit ausreichender Genauigkeit festgelegt wer- 
den. Es ist aber auch denkbar den Toleranzbereich aufgrund 
weiterer Fahrzeug- oder UmgebungsgrolSen, beispielsweise der 

10 Fahrtgeschwindigkeit , automat isch zu steuern. In einer beson- 
ders bevorzugten Ausfuhrungsf orm der Erfindung wird der Tole- 
ranzbereich jedoch in Abhangigkeit der Auswertung der Umge- 
bungsdaten eingestellt. Beispielsweise wird der Toleranzbe- 
reich dann automatisch erweitert, wenn ein Objekt nur Teil- 

15 weise im aktuellen Darstellungsbereich liegt. Der Toleranzbe- 
reich wird hierbei derart erweitert, dass ein Objekt voll- 
standig vom Darstellungsbereich und Toleranzbereich umfasst 
wird. 

2 0 In Pahrtrichtung des Fahrzeugs umfasst der Darstellungsbe- 

reich wenigstens einen Teil des Abblendlichtbereichs . Wobei 
bevorzugt Objekte im Bereich direkt vor dem Fahrzeug nicht 
dargestellt werden, da der .Fahrer diese Objekte auch ohne 
Nachtsicht system einsehen kann, Eine seitliche Begrenzung des 
25 Darstellungsbereichs erfolgt dabei nicht notwendigerweise . 
Wobei der Of fnungswinkel des Nachtsichtsystems bevorzugt der- 
art gewahlt ist, dass dieser die Keule des Femlichtbereichs 
seitlich nicht durchdringt . 

3 0 Der Auswertebereich des Nachtsichtsystems ist in vorteilhaf- 

ter Weise derart ausgelegt, so dass dieser wenigstens den 
Pernlichtbereich des Fahrzeugs umfasst. Zur Auswertung werden 
die im Auswertebereich erfassten Umgebungsdaten sodann mit- 
tels einer Datenverarbeitungseinheit in Verbindung mit Metho- 
35 den der Bildverarbeitung und Klassif ikation einer Objekter- 
kennung lanterzogen. Falls sich die erkannten Objekte nur 
teilweise im Auswertebereich befinden, wird in einer vorteil- 



wo 2004/059978 



€T/EP2003/013688 



haften Welse der Auswertebereich automatisch erweitert. Dazu 
kann beispielsweise festgestellt warden ob eine geschlossene 
Objektkontur vorliegt. Der Auswertebereich wird dabei solange 
erweitert bis ein Objekt vollstandig ausgewertet wurde. In 
5 einer besonders vorteilhaf ten Weise ist der Auswertebereich 
jedoch so ausgelegt, dass dieser den gesamten Erf assungsbe- 
reich des Nachtsichtsystems umfasst, womit auch in grolSer 
Entfernung befindliche Objekte detektiert werden k6nnen. In 
einer gewinnbringenden Weise ist es auch denkbar dass dieje- 
10 nigen Objekte die sich direkt vor dem Fahrzeug befinden nicht 
erkannt werden, um bei der Auswertung Rechenzeit zu sparen. 

In einer gewinnbringenden Ausfuhrungsform der Erfindung wer- 
den die mittels der Auswertung im Darstellungsbereich detek- 

15 tierten Objekte bei der Darstellung hervorgehoben . Dazu bie- 
tet es sich bevorzugt an, die Objekte einzufarben. Wobei es 
vorteilhaf t ist, die detektierten Objekte zuvor einer Klassi- 
fikation zu unterziehen und diese anschlieSend anhand ihrer 
Klassenzugehorigkeit (z.B. FuSganger, Fahrzeuge, ...) unter- 

20 schiedlich einzufarben. Auch ware es denkbar lediglich die 
Objektkontur darzustellen und diese entsprechend einzufarben. 

In einer weiteren gewinnbringenden Ausfuhrungsform der Erfin- 
dung wird die Information uber die bei der Auswertung im Aus- 
25 wertebereich detektierten Objekte zur weiteren Auswertung 
Fahrzeug- intemen Systemen zur Verfiigung gestellt. Die Infor- 
mation kann dabei beispielsweise dazu dienen, um Sicherheits- 
relevante Systeme friihzeitig zu aktivieren oder f\ir eine Ak- 
tivierung vorzubereiten . 

30 

Weitere Merkmale und Vorteile der Erfindung ergeben sich aus 
den folgenden Beschreibungen von Ausfuhrungsbeispielen anhand 
der Figuren- Wobei die Figuren nicht alle moglichen Varianten 
der Erfindung aufzeigen, weitere Varianten ergeben sich ins- 
35 besondere in vorteilhaf ter Weise bei der Kombination. 
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Oabel zeigen: 

Fig. 1 Darstellungsbereich des Nachtsichtsystems, welcher 
den Abblendlicht- xand Pemlichtbereich vollstSndig 
umf asst . 

Fig. 2 Darstellungsbereich des Nachtsichtsystems, welcher 

den Pemlichtbereich und einen seitliche Toleranzbe- 

reiche umf asst. 
Fig. 3 Darstellxmgsbereich des Nachtsichtsystems, welcher 

den Abblendlicht- und Pemlichtbereich teilweise um- 

f asst . 

Fig. 4 Darstellungsbereich des Nachtsichtsystems, welcher 
den Pemlichtbereich und einen in Fahrtrichtung zu- 
satzlichen Toleranzbereich umf asst . 



In Pig.l wird beispielhaft der Darstellungsbereich des erfin- 
•dungsgemSSen Automobilen Nachtsichtsystems (4) dargestellt. 
Dabei umfasst der Darstellungsbereich (einfach schraffiert 
dargestellt) den Abblendlichtbereich (1) und den Pemlichtbe- 
reich (2) vollstandig. Wobei sich der Darstellungsbereich in 
Fahrtrichtung bis zur Grenze zwischen dem Pemlichtbereich 
(2) und dem Erf assiangsbereich (3) erstreckt. 

Pig. 2 zeigt den Darstelltmgsbereich des Automobilen Nacht- 
sichtsystems (4), wobei hierbei gegen^lber dem in Pig.l ge- 
zeigten Darstellungsbereich keine seitliche Begrenzung auf 
den Pemlichtbereich (2) erfolgt. Der Of fnungswinkel der Ka- 
mera ist derart gewahlt, dass sich seitlich an den Pemlicht- 
bereich (2) Toleranzbereiche (doppelt schraffiert darge- 
stellt) anschlieSen. 
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In Pig. 3 ist das Nachtsicht system (4) derart ausgelegt, dass 
sich der Darstellungsbereich gegeniiber dem in Fig.l aufge- 
zeigten Darstellungsbereich dadurch unterscheidet , dass die- 
5 ser bevorzugt nur einen Teil des Abblendlichtbereichs (1) um- 
fasst. Zudem wird hier der Toleranzbereich seitlich begrenzt, 
wobei der Of f nungswinkel des Nachtsicht systems (4) derart ge- 
wahlt ist, dass dieser die Keule des Fernlichtbereichs nicht 
durchdringt . 



Fig. 4 zeigt beispielhaft eine weitere Variante des Darstel- 
lungsbereichs , wobei dieser gegeniiber dem in Fig. 3 angegebe- 
nen Darstellungsbereich einen groSeren Toleranzbereich auf- 
weist. Der Darstellungsbereich endet hierbei nicht an der 
15 Grenze zwischen dem Feralichtbereich (2) und dem Erfassungs- 
bereich (3) sondern erstreckt sich in Fahrtrichtung weiter in 
den Erf assungsbereich (3) hinein. 



10 
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Patentanspruche 



5 1. Verfahren zur Umgebungserf assung mittels eines automobi- 
len Nachtsicht systems mehrere Bereiche umfassend, 
einen Erf assuhgsbereich worin das Nachtsicht system we- 
nigstens fur optische Strahlung im IR-Wellenlangenbereich 
etnpfindlich ist und Umgebungsdaten erfasst, 

10 und einen Darstellungsbereich, wobei Information von den 

darin erfassten Umgebungsdaten mittels einer Anzeigeein- 
richtung optisch dargestellt wird, 
dadurch gekennzeichnet, 
dass der Darstellungsbereich maximal den Fernlichtbereich 

15 des Pahrzeugs umfasst. 

2. Verfahren nach 'Anspruch 1, 

dadurch gekennzeichnet, 
dass ein Auswertebereich vorgesehen ist, innerhalb dem 
20 die mittels dem Nachtsichtsystem erfassten Umgebungsdaten 

einer Auswertung, insbesondere einer Objekterkennung, un- 
terzogen werden. 

3, Verfahren nach einem der vorhergehenden Anspruche, 
25 dadurch gekennzeichnet, 

dass sich dem Darstellungsbereich ein Toleranzbereich an- 
schlieSt . 



30 
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4. Verfahren nach einetn der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, 

dass der Darstellungsbereich wenigstens einen Tail des 
Abblendlichtbereichs umfasst. 

5. Verfahren nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, 

dass der Auswertebereich wenigstens den Femlichtbereich 
umfasst . 

6. Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

dass die mittels der Auswertung im Darstellungsbereich 
detektierten Objekte bei der optischen Darstellung her- 
vorgehoben werden. 

7. Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

dass die Infojrmation uber die bei der Auswertung im Aus- 
wertebereich detektierten Objekte zur weiteren Auswertung 
Fahrzeug-internen Systemen zur Verfiigung gestellt werden. 




Fig. 4 
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